数字员工系统中的可视化视频生成工具可以为我行各类品牌宣传、金融知识普及、金融风险宣传提供快捷灵活的视频制作平台。
3）智能客服建设支持
数字员工建设包括智能导航、智能外呼、坐席辅助、语音质检等功能在内的多项智能化客户服务，打破常规数字选择键带来的极大困扰，直接人机对话响应，改善和提升了传统电话银行用户体验，满足客户在余额查询、绑定卡号、限额设置、卡号交易等多项业务需求。
4）厅堂服务
通过AI一体机的设立，使得数字员工直接面对客户，开展厅堂引导、业务交流、产品推荐等服务，为客户提供便捷的业务咨询和交流，快速找到所需的服务或产品，提高服务效率，减少客户等待时间。
基于未来我行数字化转型的需要，建设数字员工项目，以新媒体营销为切入点，建设虚拟品牌官、私域营销服务、数字员工生产平台、智能交互平台等能力，满足现代客户的全新服务需求，助力我行数字化转型发展。
三、项目实施方案
1.项目内容
数字员工系统运用了自然语言处理、语音识别、语音合成、虚拟形象合成等人工智能核心技术。在人机交互方面，通过语音识别、语义理解和自然语言处理等技术，数字员工能够理解客户在各渠道的需求和行为，为客户提供更加个性化和精准的服务及建议，还可以帮助客户完成一些常规业务办理，例如查询账户余额、转账、购买理财产品等。
在数字员工服务时，综合运用大数据、客户标签、智能推荐等多项大数据应用技术进行数据分析和挖掘，为不同客户提供高适配的服务。项目基于大数据构建了客户标签体系，能够真正做到“千人千面”。例如，在客户通过手机接入电话银行时，数字员工提供的交互平台会根据老年客户、高净值客户、代发薪客户、贷款客户等不同种类的客户类型，快速进入不同类型的服务交互流程。
该系统需要满足以下要求:
1）实现核心AI能力统筹建设。通过能力复用打造虚拟人、智能客服等应用，赋能业务发展;
2）核心能力解耦。虚拟数字人、语音合成、语音识别、语义理解各能力解耦，可单独作为能力，供业务调用使用;
3）建设虚拟数字人视频生产系统。通过虚拟数字人、语音合成核心能力，建设虚拟数字人视频生成系统，提供可视化视频生成工具，能够支持文本快速生产音视频内容，同时还支持音画的多轨混编、智能拼接、画中画编辑等完备的视频处理功能，可一站式快速完成成品视频的编辑生产；
4）建设虚拟数字人交互系统。通过虚拟数字人、语音识别、语音合成、语义理解核心能力，建设虚拟数字人交互系统，可以实现多渠道的快速接入，数字员工系统对外提供标准接口，完全可以轻量化满足APP、微信小程序、H5、一体机等渠道的快速接入；
5）为建设智能客服系统提供支持，建设：智能导航模块与行内IVR系统对接，构建智能化、人性化、高效率的“自助语音服务系统”。客户拨入相应热线后，只需说出自己需求，系统为客户引导至相应菜单或为客户提供业务咨询，为客户打造咨询+办理服务模式；智能外呼模块与行内外呼系统对接，实现由机器基于预设话术对指定客群发起批量外呼的平台。外呼机器人按照业务人员预先设定的对话交互流程以及任务规则，自动发起对客户的呼叫，进行通知提醒、风险预警、代销理财、逾期催收、促发卡、促激活、促活跃、促分期及到期续卡核对等一系列外呼业务；语音质检模块实现对客服中心全量数据的质检分析，解决抽样质检覆盖率低，人工质检主观性强、效率低，缺乏数据分析问题；坐席辅助模块实现一个坐席全能助手，实现自动信息查询，实现高效知识检索，辅助工单转写，提升坐席服务效率，实现实时来电数据分析，为后续多维数据平台分析提供数据出处。
2.项目架构
基于项目建设要求，系统架构上包括接入层、业务层、核心能力层、存储层和基础设施层五个层次。其中核心能力层，包括语音识别、语义理解、语音合成、数字人视频合成等核心AI能力引擎，使用微服务架构思想，独立部署多个模块，并且遵循“一个模块，一个功能”的原则，使模块达到功能内聚，模块之间完全解耦，单个模块可完全独立提供能力。组件模块化的设计，使得数字人服务中AI核心能耦合度低，且具有良好的可扩展性和伸缩性。
1）接入层：系统采用跨平台、跨语言的 API（gRpc+protobuf）接口，基于双向流的长连接方案实现人机全双工交流。同时提供Android和iOS移动端SDK，实现APP、小程序及web等端快速集成开发。
2）业务层：针对虚拟数字人交互服务，对请求的合法性进行鉴权，同时对请求进行负载均衡与故障转移处理，针对业务场景，完成业务功能单元调度与组合、业务数据统计与管理、系统配置统一；
3）核心能力层：系统采用基于科大讯飞的核心AI能力，包括语音识别、语音合成、语义理解等AI核心能力，以及先进的CV技术，基于形象渲染、唇型驱动和实时音视频技术完成数字人形象视频的生成。包括交互逻辑控制、音视频处理和网络适配交互适配功能，提供数字人实时交互能力服务。
4）存储层：基于分布式框架，对底层的分布式硬件、存储资源进行统一的调度和管理。日志、交互流水和业务配置等数据通过分布式数据储存系统、集群架构、容灾备份等手段保证数据的完整性和高可用。
整体服务支持物理机器和云上部署，具有稳定、安全的服务保障，可弹性扩展。
四、项目管理过程
1.需求分析和概要设计阶段
此阶段时间段为2022年5月至2022年7月，完成了业务需求分析、业务模式设计和应用架构设计，提交了项目需求说明书、概要设计书、技术架构、网络架构、非功能需求说明书等文档。对数字员工的形象、服装、声音、动作进行设计和评审，提供形象原画设计图，对数字员工名称“梦小鲁”进行了商标注册。
2.系统详细设计阶段
此阶段起始时间为2022年7月至2022年8月，完成了系统详细设计工作，提交了项目详细设计说明书等文档。对数字员工的形象进行建模，形成效果模型三视图并完成评审，对数字员工宣发内容进行策划，基于策划内容进行视频制作，完成数字员工场景方案建设文档。
3.系统编码、测试和上线准备阶段
此阶段起始时间为2022年8月至2022年10月，完成了数字员工系统的编码、测试以及上线准备工作，进行代码安全扫描、漏洞扫描，提交了测试案例、测试报告、上线方案、上线部署手册等文档。落实数字人应用服务场景，放置三台一体机硬件大屏，一体机交互定制改造，行史馆和营业厅一体机知识库场景语料梳理和评审，智能外呼和智能导航流程设计。
4.系统上线阶段
数字员工系统的上线分为两个阶段：客服智能化模块和虚拟数字人平台。
一阶段上线时间：2022年11月，客服智能化模块中的智能外呼和智能导航上线，为智能客服提供支持；AI主播视频制作工具上线。
二阶段上线时间：2023年6月，客服智能化模块中的语音质检和坐席助手上线，为智能客服提供支持；数字员工AI一体机行史馆和营业厅场景正式落地，手机银行端实现在线客服交互服务。
五、运营情况
针对目前智能客服已经在生产环境上线的智能导航模块和智能外呼模块两部分的运行情况进行说明，其他部分暂未上线。
1.智能导航
4月份语音导航平均语义转写率96%，语义识别率82%，导航正达率79%。（因数据量过大，需要人工标注，只抽样筛选两天的数据进行标注统计）
2.智能外呼
4月份借记卡总呼叫量达到50331，接通量达到21100，接通率达到41.92%，总通话时长165小时57分钟，平均时长28秒；
4月份信用卡总呼叫量达到3664，接通量达到1219，接通率达到33.27%，总通话时长13小时29分钟，平均时长40秒；
3.虚拟数字人
已在行史馆、泉城支行营业厅放置AI一体机进行试运行，目前语义知识库已有问答语料14576条。
六、项目成效
在由大众日报社主办的2023年“3·15诚信金融品牌”系列推选活动中，齐鲁银行001号数字员工梦小鲁入选“十佳数字化场景支付平台”。
4月14日，济南科创金融论坛于在山东大厦举行。受济南市地方金融监管局邀请，齐鲁银行号数字员工梦小鲁在论坛主会场金色大厅门前展区承担展示宣传工作。
截至目前，数字员工已制作发布山东省电视台拜年视频和山东广播电台拜年音频等多项内容，已参与制作了齐鲁银行2022年度“人人都是数据分析师”培训、行内RPA商户指标考核机器人介绍、存款保险宣传和国家安全宣传教育等多项视频课件。宣发视频在多个新媒体渠道发布转载，展示了我行数字化创新形象，成为齐鲁银行媒体宣传的全新利器。
在智能客服建设方面：智能外呼使有意向客户再转为人工外呼，显著降低了人工成本，帮助坐席提升了外呼成效；智能导航可完全取代按键操作，使得服务菜单高度扁平化，大大提高了自助服务的效率，节约了通话时长。
七、经验总结
建设数字员工项目，就是在从传统经营方式向数字化经营方式转化，这也是建设新型数字化服务手段的有效尝试。通过数字员工，既能引导客户顺利办理业务，还能实现对金融产品、服务的‘无感化’推荐，尤其是能够记录并反馈客户新需求，助力动态迭代完善‘梦小鲁’的功能和服务。在我行数字化转型进程中，数字员工的建设并不是简单建设一个虚拟形象，它将是齐鲁银行迈向元宇宙的入口，也是我们持续优化提升金融服务的基点。以‘梦小鲁’为媒介和窗口，可以撬动我们加速以金融科技手段创新金融服务，建设更加凸显齐鲁银行价值、品牌和自身行业定位的数字金融服务，这也是我们为建设‘数字中国’贡献的一份力量。